AI Papers Daily

#human alignment

4 篇

LLMs struggle to simulate human belief updates in controlled environments

大模型模拟人类信念更新时存在显著偏差

🧭 LLM 模拟人类信念的评估

IT:U, Interdisciplinary Transformation University Austria

LLM 仅在给定真实初始立场时可匹配人群分布，自身生成初始立场与更新过程均不忠实

📌 工作参考价值（4 点）

• 在电商/推荐场景中使用 LLM 模拟用户反馈或 A/B 测试时，必须为模型提供真实的初始偏好（如历史行为标签），否则模拟结果会严重失真，尤其会将中立选项过度膨胀。
• 基于人口统计与性格画像的 persona 对提升模拟保真度无一致效果，不应依赖该类特征做生成式用户建模；模型的实际行为分布主要受 prompt 中给定的立场起点约束。
• 模型倾向于产生更频繁但幅度更小的偏好转移，且无法正确评估信息说服力的排序，用于模拟推荐解释或广告文案对用户态度影响时，需用真实用户数据做校准。
• 当前多轮社交媒体仿真中若缺少真实起始条件，LLM 模拟的信念动态并不可靠，若需模拟用户兴趣演化，应考虑从真实交互序列冷启动，而非让模型自行生成初始兴趣。

Eval | 2026-07-30 | cs.CL | score 6/10

belief simulationLLM evaluationpersonabiashuman alignment

Why Large Language Models and Humans Converge and Diverge in Evaluating Creativity

为何大语言模型与人类在创造力评价上既趋同又分歧

🧭 LLM 评估标准与人类对齐研究

University of Cambridge · University of Manchester · University of Queensland

揭示LLM创造力评估依赖更窄的新颖性标准且忽视上下文信息，模型选择显著影响对创意的识别

📌 工作参考价值（3 点）

• 若用 LLM 评估广告文案或推荐理由的创意，须警惕其对市场趋势、品牌声誉等上下文信息不敏感，建议结合人工或上下文特征补充判断。
• 选择 LLM 评估器时需考察其评估标准的广度：标准越宽泛的模型越能区分人类眼中的高/低创意，可预先在试点任务上校准。
• 对于侧重新颖性的场景（如生成吸引点击的推荐语摘要），LLM 评估与人类一致性较高，可直接用作粗筛；而涉及语境契合度的任务则不宜单独依赖 LLM。

Eval | 2026-07-24 | cs.CL | score 6/10

LLM evaluationcreativityhuman alignmentnoveltycontextual insensitivitymodel-specific standards

PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception

PerceptionRubrics：校准多模态评估至人类感知的量规框架

🧭 多模态感知评估 · 人类对齐

Johns Hopkins University · StepFun · Tsinghua University · Independent Researcher

提出基于量规的多模态评估，用门控评分揭示模型在密集信息中的可靠性差距，显著提升人类对齐度

📌 工作参考价值（4 点）

• 门控评分机制：在商品描述生成或多模态问答的评估中，对核心属性、品牌等事实性信息实行一票否决，避免线性平均掩盖关键错误，可用于广告素材审核或商品信息校验。
• 双流量规设计：将评测项拆分为 Must-Right（核心事实）和 Easy-Wrong（易错细节），可指导构建商品图像理解测试集，针对性评估模型对材质、颜色、logo 等细粒度属性的感知。
• 环形同行评审标注流程：生成高质量金标准描述的方法可迁移至商品图文匹配、用户上传内容审核的场景，通过多轮评审减少标注噪声，提升训练/评估数据质量。
• 人类对齐的严格度量：强调感知准确性是可靠生成的前提，在选型多模态模型用于推荐理由生成、广告文案生成时，应优先关注其在高信息密度下的精细感知能力，而非仅看整体匹配分数。

Eval | 2026-06-25 | HF Daily | score 6/10

multimodal evaluationperceptionrubricsgated scoringhuman alignmentbenchmark

Counsel: A Meta-Evaluation Dataset for Agentic Tasks

Counsel：首个面向Agent任务的元评估数据集

🧭 LLM-as-judge 评估 · Agent 过程批评质量对齐

Atla AI · Cohere AI · Mistral AI · Google DeepMind

构建首个公开的Agent过程批评元评估数据集，量化LLM-as-judge的人类对齐度，最强judge错误位置对齐~88%

📌 工作参考价值（4 点）

• 迁移标注协议：对Agent交互轨迹的过程批评，采用“正确位置、正确理由”、“正确位置、理由差”、“不应标记”三级标注，直接用于校准电商客服或推荐Agent的自动评估器。
• 选择LLM judge的基准：模型能力与推理努力（如更多tokens）均提升判断对齐度，实践中可依据任务复杂度权衡成本，优先选择更强开源模型（如文中开源模型组合）。
• 构建自有元评估数据集：方法可复现，从已有ground-truth agent benchmark产生过程批评，然后人工评价批评质量，用于训练或微调定制化的judge模型。
• 评估Agent系统可靠性：在广告投放、搜索推荐多步交互流程中，可借助该范式量化自动评估的偏差，避免错误决策被放大。

Eval | 2026-06-18 | HF Daily | score 6/10

LLM-as-judgemeta-evaluationagentic evaluationprocess critiquehuman alignmentopen-source dataset